#cross-model transfer

3 篇

ACCT: Asymmetric Cross-LLM Context Transfer

非对称跨 LLM 上下文迁移：KV 缓存跨模型复用

🧭 LLM 异构部署 · KV cache 跨模型迁移

Tsinghua University, Beijing, China

提出 ACCT，将源模型 KV 稀疏转换为目标模型可直接消费的状态，削减 75% KV 仍匹配原性能

📌 工作参考价值（4 点）

在电商多模型/Agent 路由中，可以把共享长上下文（会话历史、商品详情、检索文档）先由低成本源模型做 prefill，再由同 family 的大目标模型复用其 KV，省掉重复 prefill，适合动态路由频繁切换模型的在线服务。
借鉴 Cartographer 的 query-relevant 稀疏化：对每层每个 KV head 分别选择与当前 query 相关的 context token，比全局 Top-K 更精细；推荐系统里长用户行为序列或多模态商品上下文也可以按 query/候选 item 做非对称稀疏化，而不是固定截断。
Allocator 的“全局 KV 预算下逐层/逐 head 分配”思路可用于模型服务：给深层/浅层或不同 attention head 分配不同的缓存 token 数，在 latency/cost 约束下最大化长上下文任务效果。
工程实现上，Compiler 把不同 hidden size 的源 KV 映射到目标模型，意味着上下文计算与最终推理可解耦，适合 Agent 系统里同一上下文被多个异构模型消费的架构，能简化上下文缓存服务。

LLM | 2026-10-30 | cs.AI | score 7/10

超越 KV Cache：混合语言模型跨模型循环记忆迁移（4B→9B 无前缀重放）

🧭 LLM 跨模型记忆状态迁移

首次展示不同尺寸混合语言模型间直接迁移 Gated DeltaNet 持久循环状态，无需目标模型重新读取上下文，显著降低续写损失

📌 工作参考价值（3 点）

在长上下文 LLM 推理服务中，可从 4B 草稿模型迁移注意力 KV 与循环状态到 9B 主模型，避免重算历史前缀，显著降低首 token 延迟；电商 Agent 长会话切换模型时可借鉴「直连复用 recurrent/conv state + 轻量 rank-4 修正」作为状态交接基线，不一定需要训练复杂映射。
对生成式推荐/Agent 的长会话记忆：混合模型（full-attention + GDN）的持久状态跨模型直接复用其坐标比学习映射更有效，提示模型家族内 hidden state 有一定兼容性，升级模型版本时可先尝试直接复制状态，再用极少量参数微调纠正。
若业务上需做模型蒸馏或小模型生成草稿、大模型验证，可复用该思想：把草稿模型的 KV 和 recurrent state 迁移给大模型，省去大模型重新编码 prompt；rank-4 修正成本极低（约 43 万参数），适合线上快速适配。

LLM | 2026-09-06 | HF Daily | score 7/10

跨模型记忆迁移：目标侧 reader 适配的关键作用

🧭 LLM 外部记忆跨模型迁移与 reader 适配

ELLIS Institute Finland · University of Turku · University of Technology Sydney

提出跨模型冻结 Engram 记忆迁移范式，发现目标侧 reader 适配比记忆表本身更能激活外部知识复用

📌 工作参考价值（4 点）

将商品属性、活动规则、用户事实等高频知识沉淀进外部哈希记忆表，与 backbone 解耦，便于在搜索/推荐/广告多条业务线间共享，仅需接入目标侧的轻量 reader。
模型升级或切换主干时，可冻结已训练的记忆表，只训练很小的 reader adapter，避免重训大模型，同时保留已有知识，降低迭代成本。
若目标模型接口与源 reader 兼容，可直接复用记忆 artifact 零训练上线，适合快速验证；不兼容时先用 dual-layer four-branch reader 适配，可接近同源效果。
注意这类外部记忆更适配可寻址的事实/规则，不适合隐式偏好或实时行为，工程上需设计好 key 编码和地址映射。

LLM | 2026-08-16 | HF Daily | score 7/10